我要學的是有關Camera的ISP

• ISP
  • 全名Image Signal processing
  • 是用來處理影像的東西
  • 他裡面有很多處理影像function
  • 但ISP這個簡稱通常會用來稱呼一塊晶片
  • 晶片是什麼？
    • 就是一個硬體，很小的硬體，
    • 用硬體實作軟體也可以做的function
    • 但用硬體實作就是會比軟體快很多！
    • 為了real time，需要把那些發明影像處理演算法的人發明的演算法，用硬體上跑的程式語言寫
  • ISP有分獨立的ISP和集成的ISP
    • Digital Camera可以照相是因為有感光元件 - CMOS
      • 所謂的感光元件可以說就是可以用光畫畫的人造機械Course Introduction: Basic Photography
      • CMOS是Sensor的一種
      • 在Camera業界就會直接簡稱這個CMOS Sensor為Sensor
  • ISP裏面裝了許多有關影像的演算法
    • 3A、color correction、noise reduction....好10幾種針對不同目的影像處理算法
    • 每個演算法都可以拉出來好好學習
    • 現在也有裝載machine learning based的算法
  ISP—藏在手機晶片里攝影靈魂
  Understanding ISP Pipeline - 知乎
  Camera Tuning : Understanding the Image Signal Processor and ISP Tuning
  mushfiqulalam/isp

• 另一種ISP
  • 全名In System Programing
  • 是撰寫/更新硬體裡程式的一種方式
  • ISP vs IAP(In Application Programming)
    • 共同點：這兩種方式都不需要將要 MCU從PCB上取下即可做燒錄或除錯。
    • 差異點：
      • ISP利用燒錄器直接燒錄板子上的MCU，程式升級需要把硬體拿到手，但不用拆它
      • IAP可以經由 UART、USB或網路來做韌體更新，只需要給定特定的Command 或開機流程，也就是透過網路就可以做更新
  單片機三種燒錄方式ISP、IAP和ICP有什麼不同?
  ISP、IAP 區別

• 媽的對喔，還有一種ISP
  • Internet service provider
  • 跟網路有關

• FPGA

  • 可重複程式設計的晶片，一般IC在設計完就不能改了，FPGA是可重複設計。
  • Field Programmable Gate Array
  • 半客製化電路
  • 以硬體描述語言HDL（Verilog或VHDL）描述的邏輯電路
    • HDL分為兩大類，有 Verilog 及 VHDL 兩種
  • 一般來說比特殊應用積體電路（ASIC）的速度要慢
  • 語法與 C 相似，但概念卻不太相同
    • C 語言是由上至下一行一行的執行
    • 而 Verilog 是每個 always block 都會同步執行的

  蠢問題~甚麼是FPGA?
  現場可程式化邏輯閘陣列 - wiki
  【Day01】概述 Verilog 是什麼？

• cmos sensor

  • 廠商
    • Samsung（三星）、OmniVision（OV 美国）、SONY（索尼）、SK Hynix（海力士）、Aptina（拆分与美光公司 美国）、ST Micro（意法半导体）、Toshiba（东芝）、格科微（中国）
  • FSI vs BSI sensor
    • 不同的sensor製程
    • Front side illumination vs Back side illumination
    • sensor上其實不是一整塊，他會切成好多好多小塊，是我們圖像最小單位會是一個個pixel的原因
    • 每個小塊其實真的跟桶子一樣
      • 觸發光電效應的地方在桶底
      • 桶口的地方還有一個小小的鏡片

  ISP基础（0y）：图像传感器
  小谈CMOS Sensor 设计之FSI和BSI

reference:
不再依賴FPGA，開發ISP用韌體自動生成工具

09/26 更新：sensor 廠商與工藝